Dilahirkan di Portsmouth, Hampshire, England, Callaghan adalah anak kepada Ketua Pegawai Kecil Tentera Laut Diraja British yang berketurunan orang Ireland. Beliau menyertai Sekolah Menengah Portsmouth Utara (kini Sekolah Lelaki Bandaraya Portsmouth) di Hilsea. Ayahnya meninggal dunia ketika Callaghan berumur sembilan tahun.

Pada tahun 1929 ketika berumur 17 tahun, Callaghan menamatkan pendidikannya untuk bekerja sebagai kerani dalam Jabatan Hasil Dalam Negeri. Semasa bertugas sebagai Pemeriksa Cukai, beliau memainkan peranan penting dalam pengasasan Persatuan Pegawai-pegawai Cukai sebagai sebuah kesatuan pekerja dan menjadi salah satu ahli Eksekutif Nasionalnya. Selepas penggabungan pada tahun 1937, beliau dilantik sebagai Penolong Setiausaha Persekutuan Kakitangan Hasil Dalam Negeri, satu jawatan penuh masa dan dengan itu, meletakkan jawatan perkhidmatan awamnya. Pada tahun 1931, Callaghan menyertai Parti Buruh.

Callaghan berkahwin dengan Audrey Elizabeth Moulton pada Julai 1938. Mereka dikurniakan dengan tiga orang anak, iaitu seorang anak lelaki dan dua orang anak perempuan. (Margaret, anak perempuannya, kemudian menjadi Baroness Jay dari Paddington, serta Ketua Dewan Pertuanan dari tahun 1998 hingga tahun 2001).

Dalam melaksanakan tugasnya dalam kesatuan, Callaghan bertemu dengan Harold Laski, Pengerusi Jawatan Eksekutif Nasional Parti Buruh dan ahli akademi Pusat Pengajian Ekonomi London (LSE) yang amat dihormati. Laski menggalakkan beliau bertanding untuk Parlimen. Callaghan menyertai Tentera Laut DiRaja pada tahun 1943, dan dinaikkan pangkat sehingga Leftenan. Ketika mengambil cuti, beliau dipilih sebagai calon Parlimen untuk Cardiff Selatan.